AI资讯新闻榜单内容搜索-Star Atten

关键词: AI,英伟达,Star Attention,模型训练,人工智能

大模型如今已具有越来越长的上下文，而与之相伴的是推理成本的上升。英伟达最新提出的Star Attention，能够在不损失精度的同时，显著减少推理计算量，从而助力边缘计算。